Năm 1946, quân viễn chinh của thực dân Pháp tái chiếm Đông Dương. Tô Vĩnh Diện tham gia chỉ huy dân quân ở địa phương. Năm 1950, tại Thanh Hóa nổ ra một vụ bạo loạn, khiến nhiều dân quân (trong đó có Tô Vĩnh Diện) bị bắt giữ. Chính quyền Việt Nam Dân chủ Cộng hòa phải cử một đơn vị bộ đội xuống giải cứu. Từ đó, Tô Vĩnh Diện chính thức gia nhập quân đội Nhân dân Việt Nam.

Cỗ pháo phòng không 37mm, số hiệu 510.681, được nhà nước Việt Nam công nhận là Bảo vật quốc gia. Đây chính là khẩu pháo mà Tô Vĩnh Diện hy sinh khi cố tìm cách chặn không bị lao xuống dốc. Hiện tại khẩu pháo đã được phục chế.

Tháng 3 năm 1953, Tô Vĩnh Diện được triệu tập để tham gia lực lượng phòng không chuẩn bị thành lập. Anh cùng đơn vị sang Nam Ninh, tỉnh Quảng Tây (Trung Quốc) để tập huấn pháo binh. Trong thời gian huấn luyện, Tô Vĩnh Diện được chỉ định là trung đội phó thuộc đại đội 829, tiểu đoàn 394, trung đoàn 367 và được kết nạp vào Đảng Lao động Việt Nam.

Sau 8 tháng huấn luyện ở Trung Quốc, tháng 12/1953, Tô Vĩnh Diện cùng đơn vị về nước và ngay lập tức hành quân lên Điện Biên Phủ để chuẩn bị tham chiến. Anh được điều về đại đội 827 làm trung đội phó của trung đội 2, trực tiếp phụ trách khẩu đội 3 thay khẩu đội trưởng bị thương. Khẩu đội Tô Vĩnh Diện được giao sử dụng khẩu pháo cao xạ 37mm số hiệu 510681, thuộc loại pháo phòng không 37mm 1 nòng mẫu 61-K kiểu M1939 có gắn lá chắn đạn với 2 cửa ngắm dành cho 2 pháo thủ, do Liên Xô sản xuất và viện trợ cho Việt Nam Dân chủ Cộng hòa.